歡迎來到資料科學中的線性代數第一天～
本人先來做個背景介紹，相信如果我這個學渣能夠學會接下來的內容，你也一定可以做到！！我呢高中讀的是私立的高職，接著大學是國立科大管理學院中跟資管蠻像的科系。目前剛從大學畢業準備進入資管系的碩士生涯！
會想要發起這個主題的原因是近期開始參與了實驗室的 meeting 發現自己雖然對於資料科學的理論有一定程度的理解，但當學長姐報論文報到論文內的公式時，我的大腦會直接進入放空狀態😂 然後就開始看不懂了哈哈哈
所以呢 希望趁開學前這段時間提高自己對數學的敏感度，故選了線性代數這門在資料科學中十分常見也必學的數學理論。希望未來 30 天我能夠不要偷懶持續學習～
與我的助理（gpt5)徹夜未眠的討論過後呢，未來 30 天預計會有下列的主題：
| Day | 標題 | 目標 |
|---|---|---|
| 1 | 向量空間與子空間 | 明確向量空間公理與子空間三條件，能檢驗集合是否為子空間。 |
| 2 | 線性組合與 Span | 定義 span(S) 與其最小性，能求生成集與維度。 |
| 3 | 線性獨立、基、維度 | 掌握「獨立 ⇔ 唯一表示」、基底存在與維度唯一性。 |
| 4 | 線性映射、核與像 | 建立線性映射與矩陣對應；定義 ker(T) 與 im(T)。 |
| 5 | Rank–Nullity | 理解 dim(ker A) + rank(A) = n，並能估解空間維度。 |
| 6 | 變基與相似 | 認識相似變換保持秩與特徵值；能寫座標變換矩陣。 |
| 7 | 行列式與可逆 | 連結 det(A) != 0 與可逆性；幾何體積伸縮詮釋。 |
| 8 | 內積與不等式 | 建立內積空間；掌握 Cauchy–Schwarz 與三角不等式。 |
| 9 | 正交投影 | 投影矩陣性質 P^2 = P、P^T = P；最小距離特性。 |
| 10 | Gram–Schmidt / QR | 用 GS 構造正交基並得到 A = Q R。 |
| 11 | 最小平方與正規方程 | 從優化導出 A^T A x = A^T b；滿秩時給閉式解。 |
| 12 | Moore–Penrose 逆 | 理解 A^+ 四條件與唯一性；連結最小範數最小平方解。 |
| 13 | SPD 與二次型；Cholesky | 判定 SPD：x^T A x > 0；理解 A = L L^T 的條件。 |
| 14 | 週回顧＋小測 | 證 G = X^T X 為 PSD 等；整理本週重點與盲點。 |
| 15 | 譜與最小多項式 | 定義特徵值/向量、譜半徑與最小多項式的基本性質。 |
| 16 | 光譜定理（對稱） | 對稱矩陣可正交對角化：A = Q Lambda Q^T；特徵向量正交。 |
| 17 | Rayleigh quotient | 以「max over unit-norm x of (x^T A x)」刻畫最大特徵值。 |
| 18 | 冪法 | 掌握冪法收斂條件與速度（譜間隙）；能估方向誤差。 |
| 19 | SVD 存在與結構 | 由 A^T A 的譜推導 A = U Sigma V^T；理解奇異值含義。 |
| 20 | Eckart–Young–Mirsky | 截斷 SVD 給出最佳低秩逼近；理解 Frobenius 誤差。 |
| 21 | PCA：兩種推導 | 以最大方差與最小重建誤差推導 PCA；與 SVD 等價。 |
| 22 | 條件數與靈敏度 | 定義 kappa(A) = norm2(A) * norm2(inv(A))；估誤差放大。 |
| 23 | 正規方程 vs QR/SVD | 說明 kappa(X^T X) = kappa(X)^2；比較數值穩定性。 |
| 24 | 矩陣範數與不等式 | 熟悉 2-範數與 Frobenius；掌握次乘法性與常見不等式。 |
| 25 | Gram 矩陣與核 | PSD 條件：對任意 c，c^T K c >= 0；內積嵌入觀點。 |
| 26 | 線性分類器與 KKT | 硬間隔最大化的一階必要條件；拉格朗日與 KKT 直觀。 |
| 27 | 矩陣分解即最佳化 | 目標函數：normF(R − U V^T)^2；固定一方即為最小平方。 |
| 28 | Perron–Frobenius／PageRank | 非負不可約矩陣的主特徵值/向量與穩態分佈。 |
| 29 | 綜合證明日（擇二） | 證明：PSD <=> 存在 B 使 A = B^T B；PCA <=> SVD；投影唯一性。 |
| 30 | 總結：定理→應用地圖 | 產出一張 Cheat Sheet，將核心定理對應到資料科學場景。 |
確定了上述的規劃後，我們立刻開始第一天的學習吧～
在學習前需要幫大家複習一些概念“零向量”與“純量乘法”
零向量 = (0,0,…,0)
也就是說呢 v+0=v 指的就是一個向量空間裡，所有分量都為 0 的特殊向量。
也就是說呢，把一個常數乘到一個向量上，結果還是向量。
3⋅(1,2)=(3,6)
0⋅(1,2,3)=(0,0,0)＃也就是零向量
向量空間是一個「向量的集合」，配上加法和純量乘法這兩種運算，而且這兩種運算需要滿足一系列的規則。（5 條加法 + 5 條乘法 = 10 條）
1.加法封閉性 [加法]
也就是說向量空間進行加法後不會跳出集合。
(1,2)+(3,4)=(4,6)
2.加法交換律 [加法]
看名稱好像很複雜，但其實就是相加次序不影響結果。
(1,2)+(3,4)=(4,6)
(3,4)+(1,2)=(4,6)
3.加法結合律 [加法]
也就是說配對不會影響總和
((1,0)+(2,1))+(3,2)=(6,3)=(1,0)+((2,1)+(3,2))
4.零向量存在 [加法]
向量裡頭存在 0 向量，使得 x + 0 = x
5.加法反元素存在 [加法]
對於每個向量，存在 -v 使得 v+(-v)=0 。也就是說每個元素都能被「抵銷」。
6.向量乘法封閉 [乘法]
也就是說放大/縮小仍留在集合內。
2⋅(1,3)=(2,6) ∈ R＾2
7.8. 分配律 [乘法]
在向量空間中先加後乘 = 逐一相乘再加。
c(u+v)=cu+cv ＃一個純量分配給兩個向量（純量固定，向量變）。 #7
(c+d)v=cv+dv #一個向量分配給兩個純量（向量固定，純量變）。 #8
9.向量乘法結合律 [乘法]
連續縮放的效果等同於把倍率相乘。
c(dv)=(cd)v。
10.乘法的單位元 [乘法]
不改變大小的倍率是 1
1v=v
1⋅(7,−2)=(7,−2)
大家或許會很好奇到底為什麼樣做這些檢查？我也是。
我們可以想像向量空間是一個大國家，而子空間會是個特區的感覺。
我們必須先確保這個特區裡有大家都能用的 0 號人物（零向量）
接著必須確保特區保證不會把人（向量）送出特區（加法、數乘後仍在內）
檢查三條就是要確認「這個特區沒有漏水」—做運算不會跑出來，而且生活條件完整。
例：
W={(x,y)∈R2∣x+y=0}
子空間檢驗條件 1：起點有嗎（零向量在不在）
大家覺得零向量 (0,0) 在不在 𝑊？
檢查發現 0+0 = 0 向量在集合裡，所以條件 1 OK~
子空間檢驗條件 2：加法不會跑出去嗎（加法封閉）
隨便取兩個在 𝑊 裡的向量，例如 (1,−1) 和 (2,−2)，相加得到多少？
我們可以看到 x+y＝0
子空間檢驗條件 3：縮放不會跑出去嗎（數乘封閉）
取任意 (a,−a)∈W 與純量 𝑐 檢查看看～
c(a,−a)=(ca,−ca)-> 4(1, -1) = (4, -4)仍滿足 x+y=0 故通過！
今天我們學會了兩件關鍵事：向量空間的 10 條公理，以及判斷「某集合是不是子空間」的三條件。接下來要學會的是讓子空間長出來——方法就是「線性組合」。這部分我們明天繼續學習！
iThome鐵人賽
看影片追技術